Il Problema della Non-Differenziabilità
Il problema standard di ottimizzazione vincolata è definito come:
$$\text{minimizza } f_0(x) \\ \text{con } f_i(x) \leq 0, \quad i = 1, \ldots, m \\ Ax = b$$
Teoricamente potremmo riscrivere questo utilizzando la funzione indicatrice $I_-(u)$ per incorporare i vincoli nell'obiettivo. Tuttavia, $I_-(u)$ è un mostro per il calcolo differenziale:
$$I_-(u) = \begin{cases} 0 & u \leq 0 \\ \infty & u > 0 \end{cases}$$
Poiché è discontinua e presenta un gradiente infinito al confine, non possiamo calcolare l'Hessiano richiesto per il metodo di Newton. Abbiamo bisogno di un surrogato differenziabile.
La Regolarizzazione Logaritmica
Approssimiamo $I_-(u)$ usando la funzione:
$$\hat{I}_-(u) = -(1/t) \log(-u), \quad \text{dom } \hat{I}_- = -\mathbf{R}_{++}$$
Qui, $t > 0$ è un parametro che determina l'accuratezza della nostra approssimazione. Più grande diventa $t$, più la barriera assomiglia alla funzione indicatrice vera e propria.
A differenza dei metodi degli insiemi attivi, questo approccio richiede che ogni iterato $x$ rimanga strettamente ammissibile ($f_i(x) < 0$). Poiché il logaritmo è indefinito per valori non negativi, crea una "barriera invalicabile" che mantiene la ricerca all'interno dell'interiorità dell'insieme ammissibile.